Resilin: Elastic MapReduce for Private and Community Clouds

The MapReduce programming model, introduced by Google, offers a simple and efficient way of performing distributed computation over large data sets. Although Google’s implementation is proprietary, MapReduce can be leveraged by anyone using the free and open source Apache Hadoop framework. To simplify the usage of Hadoop in the cloud, Amazon Web Services offers Elastic MapReduce, a web service enabling users to run MapReduce jobs. Elastic MapReduce takes care of resource provisioning, Hadoop configuration and performance tuning, data staging, fault tolerance, etc. This service drastically reduces the entry barrier to perform MapReduce computations in the cloud, allowing users to concentrate on the problem to solve. However, Elastic MapReduce is restricted to Amazon EC2 resources, and is provided at an additional cost. In this paper, we present Resilin, a system implementing the Elastic MapReduce API with resources from other clouds than Amazon EC2, such as private and community clouds. Furthermore, we explore a feature going beyond the current Amazon Elastic MapReduce offering: performing MapReduce computations over multiple distributed clouds. Key-words: Cloud computing, MapReduce, Elasticity, Hadoop, Execution platforms ∗ Université de Rennes 1, IRISA, Rennes, France – [email protected] † INRIA Rennes – Bretagne Atlantique, Rennes, France – [email protected] ‡ West University of Timişoara, Timişoara, Romania – [email protected] in ria -0 06 32 04 0, v er si on 1 13 O ct 2 01 1 Resilin: Elastic MapReduce pour nuages informatiques privés et communautaires Résumé : Le modèle de programmation MapReduce, introduit par Google, offre un moyen simple et efficace de réaliser des calculs distribués sur de large quantités de données. Bien que la mise en œuvre de Google soit propriétaire, MapReduce peut être utilisé librement en utilisant le framework Hadoop. Pour simplifier l’utilisation de Hadoop dans les nuages informatiques, Amazon Web Services offre Elastic MapReduce, un service web qui permet aux utilisateurs d’exécuter des travaux MapReduce. Il prend en charge l’allocation de ressources, la configuration et l’optimisation de Hadoop, la copie des données, la tolérance aux fautes, etc. Ce service rend plus accessible l’exécution de calculs MapReduce dans les nuages informatiques, permettant aux utilisateurs de se concentrer sur la résolution de leur problème plutôt que sur la gestion de leur plateforme. Cependant, Elastic MapReduce est limité à l’utilisation de ressources de Amazon EC2, et est proposé à un coût additionnel. Dans cet article, nous présentons Resilin, un système mettant en œuvre l’API Elastic MapReduce avec des ressources provenant d’autres nuages informatiques que Amazon EC2, tels que les nuages privés ou communautaires. De plus, nous explorons une fonctionnalité additionnelle comparé à Amazon Elastic MapReduce: l’exécution de calculs MapReduce sur plusieurs nuages distribués. Mots-clés : Informatique en nuage, MapReduce, élasticité, Hadoop, platesformes d’exécution in ria -0 06 32 04 0, v er si on 1 13 O ct 2 01 1 Resilin: Elastic MapReduce for Private and Community Clouds 3